Câu lạc bộ được thành lập vào tháng 8 năm 1948. Ban đầu đội bóng thi đấu ở giải địa phương MNZ Celje, cho đến khi họ được quyền tham dự Giải Cộng hòa Slovenia năm 1953. Hai năm sau, vào ngày 3 tháng 7 năm 1955, sân nhà của Rudar Ob Jezeru được mở cửa và câu lạc bộ chuyển đến sân nhà hiện tại. Sau một cuộc khủng hoảng ngắn, câu lạc bộ trở lại giải Slovenia năm 1962. Mùa giải 1974–75 câu lạc bộ thuê huấn luyện viên chuyên nghiệp Živko Stakič và vô địch Slovenia năm 1977. Do đó Rudar được quyền tham dự Giải bóng đá hạng nhì Nam Tư, thi đấu tới năm 1982. Ngay trước khi Nam Tư tan rã, Rudar vô địch Slovenia lần thứ hai năm 1991.

Sau khi Slovenia tuyên bố độc lập, Rudar trở thành đội bóng tham dự thường xuyên của Giải bóng đá vô địch quốc gia Slovenia. Đội xuống hạng Giải bóng đá hạng nhì quốc gia Slovenia năm 2003 và trở lại vào mùa giải 2005–06, nhưng lại ngay lập tức trở lại hạng hai. Mùa giải 2007–08 đội bóng kết thúc ở vị trí đầu tiên và được quyền lên chơi lại ở giải cao nhất. Vị thứ cao nhất của câu lạc bộ là thứ 3 trong bốn lần, lần cuối cùng là năm 2014, khi Mate Eterović, tiền đạo của Rudar, cũng là vua phá lưới của giải. Thành công lớn nhất của đội là vô địch Cúp bóng đá Slovenia năm 1998, khi thua trận đầu tiên trên sân khách trước Primorje, nhưng giành chiến thắng 3–0 trước các cổ động viên nhà ở lượt về. Nhờ đó Rudar được thi đấu ở mùa giải cuối cùng của UEFA Cup Winners' Cup, và bị loại trước Varteks Varaždin ở vòng Một.[2]